许多基于经典和学习的光流方法依赖于层次结构概念来提高准确性和鲁棒性。但是，目前最成功的方法之一 - 筏 - 几乎无法利用这种概念。在这项工作中，我们表明多尺度的想法仍然很有价值。更确切地说，使用筏作为基线，我们提出了一个新型的多尺度神经网络，该神经网络将几个分层概念结合在单个估计框架中。这些概念包括（i）部分共享的粗到精细体系结构，（ii）多尺度功能，（iii）层次成本量和（iv）多尺度的多透明损失。MPI Sintel和Kitti的实验清楚地证明了我们方法的好处。与筏相比，它们不仅显示出实质性的改进，而且还显示出最先进的结果，尤其是在非封闭区域中。代码将在https://github.com/cv-stuttgart/ms_raft上找到。
translated by 谷歌翻译
最近，现场流动估计的神经网络在汽车数据（例如Kitti基准测试）上显示出令人印象深刻的结果。但是，尽管使用了复杂的刚性假设和参数化，但此类网络通常仅限于两个帧对，而这些帧对不允许它们利用时间信息。在我们的论文中，我们通过提出一种新型的多帧方法来解决这一缺点，该方法考虑了前一个立体对。为此，我们采取了两个步骤：首先，基于最近的Raft-3D方法，我们通过合并改进的立体声方法来开发高级的两框基线。其次，甚至更重要的是，利用RAFT-3D的特定建模概念，我们提出了一个像U-NET这样的U-NET架构，该体系结构执行了向前和向后流量估计的融合，因此允许按需将时间信息集成。 KITTI基准测试的实验不仅表明了改进的基线和时间融合方法的优势相互补充，而且还证明了计算的场景流非常准确。更确切地说，我们的方法排名第二，对于更具挑战性的前景对象来说，总的来说，总比原始RAFT-3D方法的表现超过16％。代码可从https://github.com/cv-stuttgart/m-fuse获得。
translated by 谷歌翻译
自然灾害（例如飓风）之后，数以百万计的需要紧急援助。为了最佳地分配资源，人类规划人员需要准确分析可以从多个来源流动的数据。这激发了多模式机器学习框架的开发，这些框架可以集成多个数据源并有效利用它们。迄今为止，研究界主要集中于单峰推理，以提供损害的细粒度评估。此外，以前的研究主要依赖于灾后图像，这可能需要几天才能可用。在这项工作中，我们提出了一个多模式框架（GALENET），用于通过与天气数据和飓风的轨迹补充污水架图像来评估损害的严重程度。通过对两次飓风的数据进行的广泛实验，我们证明了（i）与单峰方法相比，多模式方法的优点，以及（ii）Galenet在融合各种模态下的有效性。此外，我们表明，在没有后架图像的情况下，Galenet可以利用前碟片前的图像，从而阻止决策的大幅度延迟。
translated by 谷歌翻译